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) Ein interaktives Anzeigesystem uberlagert Bilder yon 
inneren Strukturen auf einer halbtransparenten Bilschirmein- 
richtung, durch die ein Chirurg einen Patienten wahrend 
eines medizinischan Verfahrens sieht. Das uberlagerte Bild 
wird aus Abbiidungsdaten abgeleitet, die mittels eines 
Abbildungssystems erhalten warden. Eine eindringende Bin- 
richtung wird auch nachgeffihrt und auf der halbtransparen- 
ten Bildschirmeinrichtung angezeigt. Ein von der eindringen- 
den Einrichtung ausgehender Strahl, der den ; beabsichtigten 
Pfad der eindringenden Einrichtung zeigt, kann auch ange- 
zeigt warden. Das Bild wird mit der Ansicht des Chirurgen in 
Obereinstimmung gabracht und in Echtzeit wahrend des 
medizinischen Verfahrens angezeigt. Dies ermdglicht dem 
Chirurgen innere und auBere Strukturen, die Beziehung 
zwischen ihnen, und den vorgeschlagenen Pfad der eindrin- 
genden Einrichtung zu sehen und das Verfahren dement- 
8prechend anzupassen. Ein zweites Ausfuhrungsbeispiel 
yerwendet stereoskopische Anstchtsverfahren zum Erzeu- 
gen dreldimensionaler Darstellungen der radiologischen 
Bilder, die auf der halbtransparenten Bildschirmeinrichtung, 
durch die der Chirurg den Patienten sieht, uberlagert sind. 



Die folgenden Angaben sind den vom Anmeldor oingeroichton Unterlagen ontnommen 
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Die vorliegende Erfindung bezieht sich auf ein Sy- 
stem zur Untersttttzung eines Arztes, wie beispielsweise 
eines Chirurgen, bei der DarsteUung anatomischer 
Strukturen wahrend medizinischer Verfahren und, ins- 
besondere auf ein System, das dem Am ermdglicht, in 
Echtzeit sowohl innere als aueh auBere anatomische 
Strukturen zu sehen. 

Derzeit sehen Arzte wahrend eines chirurgischen 
Eingriffs und anderen medizinischer Verfahren, wie bei- 
spielsweise der Endoskopie, Biopsie und Implantation, 
zahlreiche statische Rdntgenansichten des Patienten im 
OperationssaaL Typischerweise sind dies Transparent- 
film- Wiedergaben von Magnetresonanz (MR)-, Compu- 
ter-Tomographie (CT>, herkdmmlichen Rdntgen- oder 
Ultraschall-Bildern. Da diese Bilder zweidimensionale 
statische Bilder sind, mttssen die Arzte die augenblickli- 
che dreidimensionale (3D) Anordnung und Form der 
inneren Strukturen innerhalb des Patienten aus den 
zweidimensionalen (2D) Bildern, die sie sehen, bestim- 
men. Der Arzt konstruiert entwurfsmaBig ein dreidi- 
mensionales (3D) Modell der inneren Strukturen und 
bringt die inneren Strukturen in Verbindung mit sicht- 
baren auBeren Strukturen des Patienten, wo geschnitten 
werden muB. Dies ist haufig schwierig, da der MaBstab 
und die Orientierung des zweidimensionalen (2D) Bildes 
von dem, was der Chirurg sieht, abweichen kdnnen und 
der Chirurg nicht in der Lage sein kann, sowohl den 
Patienten als auch die medizinischen Diagnosebilder 
gleichzeitig zu sehen. 

Eine andere fur die Lokalisierung innerer Strukturen 
wahrend eines chirurgischen Eingriffs verwendete 
Technik ist als stereotaktische Chirurgie bekannt, wie 
sie in "Interactive Stereotactic Surgical System for the 
Removal of Intracranial Tumors UtUizing the C0 2 Laser 
and CT-Derived Database" von BA. Kail, P.J. Kelly und 
SJ. Goerss in IEEE Transactions on Biomedical Engi- 
neering, VoL BME-32, Nr. 2, S. 112—116, 1985, und in 
"Comprehensive Computer-Assisted Data Collection 
Treatment Planning and Interactive Surgery" von BA. 
Kail, P.J. Kelly und SJ. Goerss in Medical Imaging, Vol. 
767, S. 509—514, 1987, beschrieben wurde. Bei diesem 
Verfahren wird vor einem Computer-Tomographie 
(CI> oder Magnetresonanz- Verfahren ein starrer me- 
chanischer Rahmen am Patienten befestigt Der Rah- 
men und seine Orientierungspunkte kdnnen auf den sich 
ergebenden Bildern gesehen werden. Mechanismen auf 
dem Rahmen Positionieren eine Sonde bzw. einen MeB- 
fOhler an einem speziellen Ort innerhalb des Bilds.' Der 
Nachteil dieses Verfahrens liegt darin, daB der Rahmen 
den Zugang zum Patienten beschrankt und die Bilder 
statische Bilder sind, die dem Patienten nicht folgen, 

wenn er sich wahrend des chirurgischen Eingriffs be- 
wegt 

Eine dritte fur die Lokalisierung innerer Strukturen 
verwendete Technik ist in "A Frameless Stereotaxic 
Operating Microscope for Neurosurgery" von EM. 
Friets, J.W. Strohbehn, J.F. Hatch und D.W. Roberts in 
IEEE Transactions on Biomedical Engineering, VoL 36, 
Nr. 6, S. 608-617, Juni 1989, beschrieben. 

Dreidimensionale Modelle von anatomischen Struk- 
turen kdnnen aus Daten von verschiedenen medizini- 
schen Abbildungsanwendungen, wie in den Schriften 
EP-A-0 629 693, WO-A-94/24631, EP-A-0 549 189 und 
EP-A-0 549 182 beschrieben, erzeugt werden. Diese 
Schriften beschreiben die Erzeugung und Manipulation 
von ModeUen innerer Strukturen von Patienten und die 



HersteUung von Bildern ausgewahlter Strukturen mit 
gewunschten Ausrichtungen zu einem Benutzer. Dies 
ermdglicht die DarsteUung von inneren Strukturen als 
raumliche Modelle. 
5 Gegenwartig besteht ein Bedarf nach einem System 
zur Unterstutzung von Arzten bei chirurgischen Ein- 
griffen und anderen medizinischen Verfahren, das im 
Dialogbetrieb computererzeugte Darstellungen von in- 
neren Strukturen in richtiger Beziehung zu auBeren 
io Strukturen des Patienten anzeigt und die DarsteUung 
von augenbUckhchen und hypothetischen Wegen von 
eindringenden Vorrichtuhgen erlaubt 

Eine Aufgabe der vorfiegenden Erfindung besteht 
darin, em System zu schaffen, das bei chirurgischen Ein- 
15 griffen hilft, indem gleichzeitig ein Bild von inneren 
Strukturen auBeren Strukturen uberlagert wird, auch, 
wenn die Patienten ihre Position verandern oder wenn 
die Bediener ihren Ansichtwinkel andern. 
mne weitere Aufgabe der vorliegenden Erfindung be- 
20 stent darin, ein Dialog- bzw. interaktives System zu 
schaffen, das die gewuhschten inneren Strukturen auf 
auBeren Strukturen anzeigt, wobei diese denselben 
MaBstab besitzen und aus denselben Orientierungswin- 
keln betrachtet werden. 

Eine weitere Aufgabe der vorliegenden Erfindung be- 
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stent darin, fur emen Chirurgen eine "am Kopf befestig- 
bare" bzw. "heads up" Anzeige von RontgenbUdern zu 
schaffen, die auBeren Strukturen eines Patienten inner- 
halb seines Blickfelds uberlagert sind, ohne die Verwen- 
30 dung eines hinderlichen Kopfgestells. 

Eine weitere Aufgabe der vorfiegenden Erfindung be- 
steht darin, ein Anzeigesystem zu schaffen, das mit einer 
eindringenden Einrichtung integriert ist, urn eine Dar- 
steUung der eindringenden Einrichtung relativ zu inne- 
35 ren Strukturen des Objekts zu bilden. 

Eine Echtzeit-Operationseinrichtung zur Anzeige in- 
teraktiver innerer und auBerer Bilder eines Patienten 
verwendet eine halbtransparente Anzeigebildschirm- 
einrichtung, der dem Bediener ermdglicht, gleichzeitig 
40 freigelegte Oberflachen und Computererzeugte Bilder 
von inneren Strukturen eines Patienten zu sehen. Ein 
Symbol, das eine eindringende Einrichtung darsteUt, ist 
dem computererzeugten Bild an einem Ort uberlagert, 
der in Bezug auf die inneren und auBeren Strukturen 
45 richtig angezeigt wird 

Eine medizinische AbbUdungseinrichtung oder ein 
ComputerunterstQtztes Entwicklungs-System (compu- 
ter-aided design (CAD)-System) erzeugt dreidimensio- 
nale (3D) Abbildungsdaten von inneren Strukturen des 
so Patienten fur einen Arbeitsplatz bzw. eine Workstation. 
Die dreidimensionale Position und Ausrichtung des Pa- 
tienten, die halbtransparente BUdschirmeinrichtung, das 
Auge des Bedieners und eine eindringende Einrichtung, 
die in den Patienten eingeftthrt werden soil, werden in 
55 Echtzeit dargestellt Die Workstation erzeugt dreidi- 
mensionale (3D) computererzeugte ModeUe von inne- 
ren Strukturen der Patienten, die ohne einen weiteren 
Bedarf an der medizinischen AbbUdungsvorrichtung 
verandert werden kdnnen. Zweidimensionale (2D) com- 
60 putererzeugte BUder von den ModeUen werden im Dia- 
logbetrieb bzw. interaktiv ausgerichtet und im MaBstab 
angepaBt, so daB ihre Anzeige auf einer halbtransparen- 
ten Anzeigeeinrichtung mit dem visueUen BUd des Be- 
dieners vom Patienten durch die halbtransparente Bild- 
65 schirmeinrichtungzusammenfaUt 

Die fur neu gehaltenen Merkmale der Erfindung sind 
insbesondere in den Anspruchen angegeben. Die Erfin- 
dung selbst jedoch, sowohl die Anordnung als auch das 
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Betriebsverfahren, zusammen mit weiteren Aufgaben 
und Vorteilen kSnhen am besten unter Bezugnahme auf 
die folgende Beschreibung in Verbindung mit der Zeich- 
nung verstanden werden. 
Eszeigen: 

Fig, 1 ein vereinfachtes Blockschaltbild eines ersten 
Ausftihrungsbeispiels einer erfindungsgemaBen medizi- 
nischeri Anzeigevorrichtung, und 

Fig. 2 ein vereinfachtes Blockschaltbild eines zweiten 
Ausftihrungsbeispiels einer erfindungsgem&Ben medizi- 
nischen Anzeigeeinrichtung. 

In Fig- 1 wird ein Objekt oder ein Patient 1, bei dem 
ein medizinisches Verfahren, wie beispielsweise ein chi- 
rurgischer Eingriff, durchgef tihrt wird, mittels einer me- 
dizinischen Abbildungseinrichtung 10 abgetastet, die ei- 
ne Magnetresonanz (MR)- Abbildungseinrichtung, eine 
Computer-Axiale-Tomographie (CATJ-Einrichtung, ei- 
ne Positronen-Emissions-Tomographie (PET}- oder ei- 
ne ahnliche Abbildungseinrichtung sein kann, die fahig 
ist, mehrdimensionale volumetrische Daten, wie bei- 
spielsweise dreidimensionale (3D)-Daten, aus inneren 
Strukturen des Patienten 1 zu erzeugen. Nach der Ab- 
bildung schafft die Abbildungseinrichtung 10 die volu- 
metrischen Daten zu einer Modeil- Workstation 100. 
Wenn die yolumetrischen Daten erst zu der Modell- 
Workstation 100 geschafft sind, ist die Abbildungsein- 
richtung 10 nicht linger erf orderlich. Dies ist wichtig, da 
einige medizinische Verfahren nicht mit dem Patienten 
innerhalb der Grenzen einer Abbildungseinrichtung 
durchgeftihrt zu werden brauchen, was, wie im Fall von 
Magnetresonanz (MR)-Abbildung, beschrSnkend sein 
kann. In alternativen Ausfilhrungsbeispielen kann die 
Abbildungseinrichtung 10 im Dialogbetrieb bzw. inter- 
aktiv w&hrend dem medizinischen Verfahrien verwendet 
werden. Die Modeil- Workstation 100 speichert die vo- 
lumetrischen Daten und erzeugt aus den Daten compu- 
tererzeugte Modelle, die im MaBstab verSndert, gedreht 
oder anders verandert werden konnen, ohne die Abbil- 
dungseinrichtung 10 weiter zu erfordern. 

Ein Bediener 350, wie beispielsweise ein Arzt oder em 
medizinscher Assistent beobachtet den Patienten 1. Ei- 
ne halbtransparente Bildschirmeinrichtung 250 ist zwi- 
schen dem Patienten 1 und dem Bediener 350 angeord- 
net. Eine Nachftihreinrichtung 50, die den Bediener, die 
halbtransparente Bildschirmeinrichtung 250 und den 
Patienten 1 uber^acht und verfolgt, bestimmt die Loka- 
lisierung und Ausrichtung mit Winkel a, Teilung 8 und 
Abweichung O der Bedieners 350, des Objekts 1, der 
halbtransparenten Bildschirmeinrichtung 250 und der 
eindringenden Einrichtung 3. Die Nachftihreinrichtung 
50 kann eine Nachftihreinrichtung mit 6 Freiheitsgraden 
sein, wie in 'The Flock of Birds" Installation and Opera- 
tion Guide, Ascension Technology Corporation, 5. Juli 
1992, in der Einleitung S. 1 — 3, im Anhang 1, S. 89 und in 
Anhang 3, S. 93, beschrieben. 

Es wird angenommen, daB sich der Patient 1 am Ur- 
sprung des karthesischen Koordinatensystems (x, y, z) 
« (0, 0, 0) befindet, und daher alle Lokalisierungen rela- 
tiv zum Patienten einfach die (x, y, z)-Lokalisierungen 
sind. Die Lokalisierung und Ausrichtung des Patienten 
1, der halbtransparenten Bildschirmeinrichtung 250 und 
des Bedieners 350 wird durch die Nachfuhreinrichtung 
50 im Dialogbetrieb bzw. interaktiv zu der Modell- 
Workstation 100 zugefQhrt Die Lokalisierung und Aus- 
richtung kann in verschiedenen Ausfuhrungsbeispielen 
auch manuell zu der(den) Workstations) zugefahrt wer- 
den. 

Die ModeU- Workstation 100 verarbeitet die dreidi- 



mensionaleh (3D) volumetrischeh Daten, die sie emp- 
fangt, und erzeugt ausgewahlte Wiedergaben der Da- 
ten. Ein Wiedergabe- Verfahren bestimmt Fiachen zwi- 
schen verschiedenen Arten von Gewebe. Dann wird die 
5 Verbindbarkeit von Shnlichen Arten von zueinander be- 
nachbartem Gewebe bestimmt Eine Unterscheidung 
von Gewebearten aus der Natur des Signals in den drei- 
dimensionalen Bilddaten ist als Gliederung bzw. Seg- 
mentation bekannt Wenn die dreidimensionalen (3D) 

to voiumetrischen Daten in innere Strukturen gegliedert 
bzw. segmentiert wurden, kann jede innere Struktur 
durch die Modeil- Workstation 100 als ein separates fe- 
stes Objekt behandelt werden. Die Modeil- Workstation 
100 besitzt die Fahigkeit,gewttnschte innere Strukturen, 

15 FarbverschlOsselungsstrukturen ausgewahlt anzuzeigen 
und innere Strukturen abzutrennen, zu drehen und um- 
zuwandeln, um diese Bilder auf eine gewOnschte Weise 
zu manipulieren, um eine Darstellung fflr eine mit einem 
Bediener arbeitende Modeil- Workstation 100 zu bilden. 

20 Ein alternatives Wiedergabe-Verfahren erzeugt zweidi- 
mensionaie Projektionen von ausgewahlten Merkmalen 
innerhalb des dreidimensionalen Datensatzes, wie es im 
US-Patent 5 233 299, erteilt am 3. August 1993, mit dem 
Titel "Projection Methods for Producing Two-Dimen- 

25 sional Images from Three-Dimensional Data" von S.P. 
Souza, W.J. Adams und CL. Dumoulin beschrieben ist 
Beispielsweise konnen zweidimensionale Projektions- 
Angiogramme aus einem dreidimensionalen Phasen- 

* kontrast oder einem Laiif zeit (time-of-flight)-Magnetre- 

30 sonanz-Angiogramm extrahiert werden. Es sind zahlrei- 
che Projektionsalgorithmen iiidglich. Diese en thai ten 
die Erfassung der maximalen Pixelintensitat entlang ei- 
nes ausgewahlten Projektionsstrahls durch die dreidi- 
mensionalen Daten, die Bestimmung der mittleren Pi- 

35 xelintensitat eines ausgewahlten Projektionsstrahls und 
die Bestimmung der Standardabweichung aller Pixel 
entlang einem ausgewahlten ProjektionsstrahL 

Die ModeU- Workstation 100 empfangt Eingabedaten 
von einer Workstation-Ansichtseingabeeinrichtung 60 

40 und von der Nachftihreinrichtung 50, die der Position 
und Ausrichtung folgt, um die Ausrichtung fur die An- 
zeige innerer Strukturen des Patienten 1 auszuwahlen. 
Die Workstation-Ansichtseingabeeinrichtung 60 kann 
eine Computer-Zeigeeinrichtung, wie beispielsweise ein 

45 Handroller bzw, eine Haus oder eine Rollkugei bzw. ein 
Trackball, sein oder irgendeine Eing&beeinrichtung, die 
Ebenen, in denen die Bilder zu schneiden sind und einen 
Ansichtswinkel und einen MaBstab angibt Die Modell- 
Workstation 100 synthetisiert ein dialogmaBiges bzw. 

50 interaktives computererzeugtes Bild innerer Strukturen 
eines Patienten 1, die mit der vom Bediener 350 gesehe- 
nen Echtzeit-Szene zusammenfallen. Eine Symbol-Er- 
zeugungseinrichtung 5 erzeugt ein Symbol, das die Posi- 
tion und Ausrichtung der eindringenden Einrichtung 3 

55 anzeigt Optional kann ein sich von der eindringenden 
Einrichtung 3 erstreckender Strahl gezeichnet werden, 
der den gegenwartigen Pfad der eindringenden Einrich- 
tung 3 anzeigt 

Das interaktive computererzeugte Bild kann aus ei- 

60 nem Computermonitorsignal, wie beispielsweise einem 
RGB-ComputermonitorsignaJ, in ein Videoformat um- 
gewandelt werden, indem es einen Abtastumwandler 
192 (gestrichelt dargestellt) passiert, abhangig vom er- 
forderlichen Anzeigeformat des halbtransparenten 

65 Bildschirms 250. Das computererzeugte Bild 250 wird 
auf der halbtransparenten Bildschirmeinrichtung 250 
gebildet, die zwischen dem Patienten und dem Bediener 
350 angeordnet ist Die halbtransparente Bildschirmein- 
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sS.fi!fH«? t ^ ge n^ ChteMbchunga ^ erer beidenModell-Workstationsgesendetwerden. 

desFenstersweggeschnittensindundlegtdiedarunter- 15 1256, S.266-271. 1990 bescbkben. 

hegenden inneren Strukturen offen. Andere herkommli- Die AbkufsteueSnSTJ ^ a r u 

che VMeo-Spezialeffekte kannen auch verwendet wer- putererzeu^ 

den. Die halbtransparente BUdschimeiiirichtung250 er- einrichtung250durch. halbtransparenten Budschirm- 
moglicht dem Bediener 350 sowohl innere als auch au- Dann lafit die Ahi a ..f*t»„».,.»;„.^u* 

ner 350 erne stereoskopische Ansicht von inneren und sehen und umgekehrt Augennncfc zu 

EfSEJd^ ^ 35 „' 5"? erm6glicht dem Bediener m sch »^ Aufeinan- 

SSJJa ^ Lokalls ' erun g und Ausrichtung des ist, was insbesondere bei komSen?Sen £2 

™ w f S k -T verwendet ^ erden - am «*• LokaUsie- schen Eingriffen wichtig ist ^ 

^ g i^? a r " S nChtUng d !. S r 61 - 6 ? Auges ™ berechnen - Fur beide Ausfuhrungsbeispiele der Erfindune muB 

Die Lokahsierungen und Ausnchtungen werden einer sich das Computerbild mit den auBeren sSukt^ren^S 
ersten Modell-Workstation 100a zugefQhrt bzw. einer 50 sie der Bediener 350 deE dSM^^n«^!^!Sf 

zweitenModeU-Workstation 100b, die ein rechtes bzw. fallen! ^T^SS^^^S^S^^L 

em hnkes Computergraphik-Bild an den Lokalisierun- Eingabe von ^SS&^uStSS^SS^ 

f« i l 'ft y V 2 * * <X * ^ Z2 i b2w - A Au . sr ichtungen (a„ O,, 9.) te(n) Bild(er) zu rotieren, zu ObeSagSZd SSaB- 

K™k , g • • , 55 rente BJdschirmeinrichtung beobachteten Szene zu- 

Erne Symbolerzeugungseuinchtung 5 empfangt die sammenfallen. oder durch Verwendung einer S£ 
Position und Ausrichtung der eindringenden Einrich- einrichtung 50 zum Einstellen von Sa^sDarameSn 
tung 3 und zeigt ein Symbol an der richtigen Position erreicht werden. Antangsparametern 
und Ausnchtung auf der halbtransparenten Bildschinn- Wenn einmal das dreidimensionale (3D) Modell und 
einnchtung 250 an. Das Symbol kann durch einen Strahl 60 das visuelle Bild des PatienteTauagerichtet stod halt 
erwe.tert werden, der den vorgeschlagenen Pfad der die NachfOhreinrichtung 50 d"e AnSSmke uJd den 
emdrmgenden Emnchtung 3 anzeigt Steuersignale von Ansichtsbereich gleich .Dies i^^SdSSS- 
tl Workstation-Amichtsemgabeeinrichtung 60 und Bige bzw. interaklive Synchronisiefung faElSeSSL 
t» Abbddungseinnchtiing 10 konnen zur ersten Mo- schen der Bedieneransicht des PatiemenTSoSde^) 
dell-Workstation 100a gesendet werden, die aufeinan- « computererzeugten Bildfernl aeaqun) 
derfolgend die Steuersignale zur zweiten Modell- Work- Da das Bild jeder inneren Stmkti.r in a ,.r„— :i. 
station 100b uber den Konununkationspf ad 140 ausbrei- werden kann, Sl^Tj^b^t SeljS 
tet, oder alternativ kdnnen die Steuersignale direkt zu wie ein festes Objekt manipuliert werdeTlm FaTvon 
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Strukturen eines Patienten kann ein Ghirurg Daten vom 
Patienten durch medizinische Abbildung erfassen, dann 
den chirurgischen Eingriff mittels Manipulation der Mo- 
delle zum Planen eines gewiinschten Ergebnisses vor 
dem chirurgischen Eingriff planen. Dies ist ebenso bei 
komplexer wiederhersteilender Chirurgie. Wenn einmal 
der Plan bestimmt ist, kann er gespeichert und wahrend 
des chirurgischen Eingriffs wieder abgespielt werden. 
Die Bilder der inneren Strukturen sind im Dialogbetrieb 
bzw. interaktiv ausgerichtet und im MaBstab angepaBt, 
um mit dem aktuellen Patienten zusammenzuf alien. 

Ein Beniitzer verwendet eine Workstation-Ansichts- 
eingabeeinrichtung 60 entsprechend den Fig* 1 bzw. 2, 
um Ebenen auszuwahlen, in denen die Strukturen im 
Modell durchzuschneiden sind, um die dreidimensiona- ' 
le- Ausrichtung des Modells auszuwahlen und um Bild- 
schirmschnittebenen auszuwahlen, die einen. Worksta- 
tion- Ansichtsbereich definieren. Die Modell- Worksta- 
tion kann eine Begrenzerschaltungseinrichtung enthal- 
ten, um Punkte innerhalb der Modellschnittebenen zu 
bestimmen, eine Drehschaltungseinrichtung zum Rotie- 
ren von Punkten und Einheitsvektoren, eine Segmehtie- 
rungs-Verarbeitungseinrichtung und eine Schraffur- 
schaltungseinrichtung, die auf der Grundlage der Aus- 
richtung des Einheitsvektors an jedem Punkt eine 
Schraffur bestimmt Zusatziich kann eine Bildschirmein- 
richtungrBegrenzer-Schaitungseinrichtung verwendet 
werden, um Punkte innerhalb eines Bereichs zu bestim- 
men, der durch die Bildschirmschnittebenen def iniert ist 
Die Modell- Workstation kann auch eine Anzeigeschal- 
tungseinrichtung enthalten, um Videosignale zu erzeu- 
gen, die, wenn sie sich zu einer geeigneten Anzeigeein- 
richtung ausbreiten, Bilder von zahlreichen Fiachen er- 
zeugen, die innerhalb des gewiinschten Anzeigebereichs 
oder der Bildschirmschnittebenen liegen. 

Bei einer drastischen Operation, wie einem entfernen- 
den chirurgischen Eingriff oder massiven Traumaf alien 
gibt es wenig Struktur, die zur korrekten Feststellung, 
wie eine normale Struktur sein sollte, verwendet wer- 
den kann. In diesen Fallen kann eine zusatzliche Modell- 
Workstation ein Modell von normalen Strukturen ge- 
speichert haben, das mit den anderen angezeigten Bil- 
dern gemischt werden kann, um als ein Fuhrer bei der 
Wiederherstellungschirurgie zu dienen. Dies kann durch 
zusatzliche Workstations oder Modell- Manupulations- 
tafeln durchgeftihrt werden. 

In den vorliegenden Ausfilhrungsbeispielen der Erfin- 
dung ist die halbtransparente Bildschirmeinrichtung 250 
zwischen dem Bediener 350 und dem Patienten 1 ange- 
ordnet Die Bildschirmeinrichtung 250 kann aus einer 
Flttssigkristallanzeigeeinrichtung bestehen oder einen 
teilversilberten Spiegel enthalten, der ein Bild von ei- 
nem Videomonitor reflektiert Die halbtransparente 
Anzeigeeinrichtung 250 kann als eine relativ groBe Ein- 
richtung mit Abmessungen ungefahr gleich denen des 
interessierenden Bereichs des Patienten 1 bestehen oder 
alternativ kleine Abmessungen haben und relativ nahe 
am Auge des Bedieners angeordnet sein, beispielsweise 
in einem Kopfrahmen (head gear) oder einem Augen- 
aufsatz (eye wear) enthalten sein. 

In einem AusfUhrungsbeispiel der vorliegenden Erf in- 
dung ist die halbtransparente Bildschirmeinrichtung 250 
an einem beweglichen Arm 7 befestigt, der ermoglicht, 
daB der Bildschirmeinrichtung an jedem Ort zwischen 
dem Patienten 1 und dem Bediener 350 angeordnet wer- 
den kann. Dies ermdglicht die Verwendung der Erfin- 
dung, die mit kopfmontierten Anzeigen unmdglich sein 
wilrde. Beispielsweise, wenn die halbtransparente Bild- 



schirmeinrichtung 250 aus einem Material besteht, das 
eine beschreibbare Oberflache besitzt, kdnnte der Be- 
diener einen Tintenstift verwenden, um interessierende 
Bereiche nachzuziehen oder mit Bemerkungen zu ver- 
5 sehen (z. B. die Lokalisierung eines Einschnitts), die ffir 
andere in der Nahe sichtbar sind. 

Eine andere Verwendung der vorliegenden Erfin- 
dung, die nicht mit einer kopfmontierten Anzeige mog- 
lich sein wflrde, ist die Verwendung der Position und 

io Ausrichtung der Anzeigebildschirmeinrichtung zum Be- 
stimmen des auf dem Bildschirmeinrichtung dargestell- 
ten Bilds. Die Eingabeeinrichtung 60 kann dann verwen- 
det werden, um die Hefe der Bildebene innerhalb des 
Patienten anzupassen. Dies kann daher verwendet wer- 

15 den, um den Patienten zur Beobachtung innerer Struk- 
turen abzutasten und festzustellen, ob der vorgeschla- 
gene Pfad fQr die eindringende Einrichtung korrekt ist 

Optional wird eine eindringende Positionierungsein- 
richtimg 9 zum System hinzugefOgt, die die eindringen- 

20 de Einrichtimg halt Diese wird auch durch die Nach- 
fuhreinrichtung 50 nachgefQhrt, so daB die Position und 
Ausrichtung der eindringenden Einrichtung beobachtet 
und der (den) Modell- Workstation(s) zugef Ohrt wird 
Bevorzugte Punkte zum Nachf uhren sind der Endpunkt 

25 und zumindest ein anderer Punkt der eindringenden Po- 
sitionierungseinrichtung 9, um die Ausrichtung zusam- 
men mit der Position der eindringenden Einrichtung zu 
bestimmen. 

Wahrend zahlreiche augenblicklich bevorzugte Aus- 

30 ftthrungsbeispiele des neuen Darstellungssystems im 
vorstehenden detailliert beschrieben wurden, sind fQr 
den Fachmann zahlreiche Modifizierungen und Veran- 
derungen offensichtlich. Es ist daher verstandlich, daB 
die Erfindung nur durch den Schutzbereich der Ansprii- 

35 che festgelegt ist 

Ein interaktives Anzeigesystem uberlagert Bilder von 
inneren Strukturen auf einer halbtransparenten Bild- 
schirmeinrichtung, durch die ein Chirurg einen Patien- 
ten wahrend eines medizinischen Verfahrens sieht Das 

40 iiberlagerte Bild wird aus Abbildungsdaten abgeleitet, 
die mittels eines Abbildungssystems erhalten werden. 
Eine eindringende Einrichtung wird auch nachgefuhrt 
und auf der halbtransparenten Bildschirmeinrichtung 
angezeigt Ein von der eindringenden Einrichtung aus- 

45 gehender Strahl, der den beabsichtigten Pfad der ein- 
dringenden Einrichtung zeigt, kann auch angezeigt wer- 
den. Das Bild wird mit der Ansicht des Chirurgen in 
Obereinstimmung gebracht und in Echtzeit wahrend 
des medizinischen Verfahrens angezeigt Dies ermdg- 

50 % licht dem Chirurgen innere und auBere Strukturen, die 
Beziehung zwischen ihnen, und den yorgeschlagenen 
Pfad der eindringenden Einrichtung zu sehen und das 
Verfahren dementsprechend anzupassen. Ein zweites 
Ausftthrungsbeispiel verwendet stereoskopische An- 

55 sichtsverfahren zum Erzeugen dreidimensionaler Dar- 
stellungen der. radiologischeh Bilder, die auf der halb- 
transparenten Bildschirmeinrichtung, durch die der Chi- 
rurg den Patienten sieht, uberlagert sind. 



60 



65 



Patentanspriiche 

1. Medizinische Echtzeiteinrichtung zum Anzeigen 
von interaktiven Bildern von inneren Strukturen 
eines Patienten fQr einen Bediener zusarhmenfal- 
lend mit einer Ansicht des Patienten durch den Be- 
diener, mit: 

a) einer halbtransparenten Bildschirmeinrich- 
tung (250) zum Anzeigen eines zugefuhrten 
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Bildes mit einem einstellbaren Grad von 
Transparent so daB es uberlagert zu durch die 
Bildschirmeinrichtung (250) gesehenen Struk- 
turen erscheint; 

b) einem mechanischen Arm (7) zum Halten 
der halbtransparenten Bildschirmeinrichtung 
(250) in einer ausgewahlten Position zwischen 
dem Bediener (350) und dem Patienten (1) der- 
art, daB der Bediener (350) den Patienten (1) 
durch die halbtransparente Bildschirmeinrich- 
tung (350) sehen kann; 

c) einer Nachfiihreinrichtung (50) zum wieder- 
holten Messen der Lokalisierung und Ausrich- 
tung des Bedieners (350), des Patienten (1) und 
der halbtransparenten Bildschirmeinrichtung i 
(350); und 

d) einer Workstation (100), die mit der Nach- 
fiihreinrichtung (50) gekoppelt ist, urn die Lo- 
kalisierung und Ausrichtungen zu empfangen 
und ein Bild aus einem Satz von gespeicherten 2 
Abbildungsdaten zu erzeugen, so daB die inne- 
ren Strukturen auf der halbtransparenten Bild- 
schiiroeinrichtung (250) mit den relativen Lo- 
kalisierungen und Ausrichtungen des Bedie- 
ners (350X des Patienten (1) und der halbtrans- 2 
parenten Bildschirmeinrichtung (250) Oberein- 
stimmen. 

2. Einrichtung nach Anspruch 1, mit: 
einem medizinischen Abbildungssystem zum Erhal- 
ten yon einem dreidimensionalen (3D) Satz von 31 
Abbildungsdaten von inneren Strukturen des Pa- 
tienten (1). 

3. Einrichtung nach Anspruch 1, mit: 

a) einer eindringenden Einrichtung (3) mit ei- 
ner Position und Ausrichtung, die auch durch 3 * 
die Nachfiihreinrichtung (50) nachgefahrt 
wird; und 

b) einer Symbolerzeugungseinrichtung (5) zum 
Uberlagern eines Symbols auf der halbtrans- 
parenten Bildschirmeinrichtung (250) zum An- 4 C 
zeigen der Position und Ausrichtung der ein 
dringenden Einrichtung (3). 

4. Einrichtung nach Anspruch 3, wobei die Symbol- 
erzeugungseinrichtung (5) eine Einrichtung zum 
Anzeigen eines Strahl umfaBt, der die gegenwarti- 45 
ge Ausrichtung der eindringenden Einrichtung (3) 
und ihren Vorgeschlagenen Pfad in die inneren 
Strukturen des Patienten (1) anzeigt 

5. Einrichtung nach Anspruch 1, wobei die Nach- 
fiihreinrichtung (50) eine erste und zweite Position 50 
und Ausrichtung entsprechend jedem Auge des Be- 
dieners (350) bestimmt und die Workstation (100a) 
ein Bild entsprechend der ersten Lokalisierung und 
Ausrichtung erzeugt, mit: 

a) einer zweiten Workstation (100b) zum Er- 55 
zeugen eines zweiten Bilds von inneren Struk- 
turen des Patienten (1) aus den Abbildungsda- 
ten, wie sie aus der zweiten Lokalisierung und 
Ausrichtung gesehen werden; 

b) eine stereoskopische Anzeigeeinrichtung 6 o 
(252), die mit der halbtransparenten Bild- 
schirmeinrichtung (250) synchronisiert ist, urn 
nur einem der Augen des Bedieners (350) zu 
ermoglichen, die halbtransparente Bildschirm- 
einrichtung (250) zu sehen, wenn das erste 65 
computererzeugte Bild angezeigt wird, und 
dem anderen Auge des Bedieners (350) zu er- 
moglichen, die halbtransparente Bildschirm- 
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einrichtung (250) zu sehen, wenn das zweite 
computererzeugte Bild angezeigt wird, wo- 
durch ein dreidimensionales (3D) Bild von in- 
neren Strukturen daruber uberlagert und au- 
Bere Strukturen des Patienten simuliert wer- 
den- 

6. Einrichtung nach Anspruch 1, wobei die halb- 
transparente Bildschirmeinrichtung (250) eine 
Oberflache besitzt, die aus einem Material besteht, 
auf dem geschrieben und wieder geloscht werden 
kann. 

7. Verfahren zum UnterstQtzen eines Bedieners 
zum Durchfuhren eines medizinischen Verfahrens 
bei einem Patienten, mit den Schritten: 

a) Aufnehmen von mehrdimensionalen medizi- 
nischen Abbildungsdaten von inneren Struktu- 
ren eines Patienten (1); 

b) Auswahlen einer Lokalisierung und Aus- 
richtung zwischen dem Bediener (350) und 
dem Patienten (1); 

c) Positionieren einer freistehenden halbtrans- 
parenten Bildschirmeinrichtung (250) an der 
ausgewahlten Lokalisierung und Ausrichtung, 
urn dem Bediener (350) zu ermdglichen, den 
Patienten durch. die halbtransparente Bild- 
schirmeinrichtung (250) zu sehen; 

d) Messen vori Lokalisierungen (x, y, z) und 
Ausrichtungswinkeln (a, O, 8) des Patienten 
(i\ des Bedieners (350) und der halbtranspa- 
renten Bildschirmeinrichtung (250); 

e) Erzeugen eines computererzeugten Bildes 
der inneren Strukturen aus den medizinischen 
Abbildungsdaten in Obereinstimmung mit den 
gemessenen Lokalisierungen (x, y, z) und Aus- 
richtungswinkeln (a, <X>, 0) und 

f) Anzeigen des computererzeugten Bildes auf 
der halbtransparenten Bildschirmeinrichtung 
(250) mit einem gewOnschten Grad von Trans- 
parenz, um den Eindruck von inneren Struktu- 
ren uberlagert zum Patienten (1) zu erzeugen, 
um dem Bediener (350) bei dem medizinischen 
Verfahren zu helfen. 

8. Verfahren nach Anspruch 7, wobei der Schritt 
des Aufnehmens von mehrdimensionalen medizini- 
schen Abbildungsdaten in Echtzeit durch ein medi^ 
zinisches Abbildungssystem durchgefQhrt wird. 

9. Verfahren nach Anspruch 7, wobei der Schritt 
des Erzeugens eines computererzeugten Bildes den 
Schritt 

a) Erzeugen eines Paars von computererzeug- 
ten Stereobildern der inneren Strukturen aus 
den medizinischen Abbildungsdaten in Ober T 
einstimmung mit den gemessenen Lokalisie- 
rungen und Ausrichtungswinkeln umfaBt; und 
wobei der Schritt des Anzeigens des computerer- 
zeugten Bildes den Schritt: 

Anzeigen des Paars computererzeugter Bilder auf 
der halbtransparenten Bildschirmeinrichtung (250) 
mit einem gewOnschten Grad an Transparenz zum 
Erzeugen eines stereographischen Eindrucks von 
inneren Strukturen Qberlagert zum Patienten (1), 
um dem Bediener (350) bei dem medizinischen Ver- 
fahren zu helfen, umfaBt 

10. Verfahren nach Anspruch 7, mit dem Schritt: 
Anpassen des Abstandes und der Ausrichtungswin- 
kei der linken und rechten computererzeugten Bil- 
der, um mit der Ansicht des Patienten (1) durch den 
Bediener (350) Obereinzustimmen. 
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